Ông sinh ngày 1 tháng 6 năm 1907 tại Nam Định, quê quán làng Đông Ngạc, tỉnh Hà Đông [2]. Ông là một trong những nhà nhiếp ảnh sớm nhất của Việt Nam, bắt đầu khởi nghiệp cầm máy từ năm 1923 và từ năm 1932 đã khai trương phòng triển lãm riêng tại Nam Định và gửi ảnh dự thi trong các cuộc triển lãm ảnh tại Hà Nội và nhiều lần đoạt giải[2]. Trong thời gian này, ông cũng chơi thân với nhiếp ảnh gia Võ An Ninh và dạy nhiều học trò [3].

Di cư vào Nam năm 1954, ông là hội trưởng Hội Nhiếp ảnh Việt Nam từ năm 1958 đến 1971 [4]. Trong thới gian này, ông gửi ảnh tham dự các cuộc Thi Ảnh tổ chức tại các nước Pháp, Hồng Kông, Singapore, Anh, Ý, Tây Ban Nha... và giảng dạy các lớp nhiếp ảnh như tại Hội Việt Mỹ Sài Gòn, Viện Đại học Vạn Hạnh cũng như làm giám khảo những cuộc thi ảnh như bộ môn Nhiếp ảnh Giải Văn học Nghệ thuật của Phủ Tổng thống Việt Nam Cộng hòa từ năm 1969 đến 1975 [4].

Ông từ trần vào ngày 25 tháng 11 năm 1992 tại Garden Grove, California, Hoa Kỳ [4].

Những tác phẩm ảnh của ông như bộ ảnh Suối tóc, Duyên dáng, Tâm tư, Theo chiều gió, Đôi dòng thác đã góp phần làm ông nổi tiếng. Riêng tác phẩm Duyên dáng đã được chọn trưng bày vĩnh viễn tại Bảo tàng Mỹ thuật Brasil từ năm 1963 và cũng mang lại cho ông nhiều huy chương quốc tế danh giá [1].

Gần đây nhất, 54 bức ảnh và 9 bức tranh vẽ của ông đã được triển lãm dưới chủ đề "Ảnh đen trắng và tranh vẽ chân dung" tại Hội Nhiếp ảnh Thành phố Hồ Chí Minh từ ngày 9 đến 19 tháng 12 năm 2007 [1]. Kênh HTV7 cũng đã thực hiện một chương trình phát hình về ông: "Nhớ nghệ sĩ nhiếp ảnh Phạm Văn Mùi", phát sóng ngày 16 tháng 3 năm 2008 [5]